Ông Phạm Khắc Hòe, từng là Đổng lý ngự tiền văn phòng của hoàng đế Bảo Đại, từng chứng kiến Nam Phương đau lòng vì thói trăng hoa của Bảo Đại. Khi đó là khoảng năm 1946, Bảo Đại đang ở Hà Nội, do quen thói ăn chơi, cựu hoàng không chịu được thiếu thốn, nên nhờ ông Hòe về Huế gửi cho vợ một bức thư xin tiền. Chiều hôm đó khi ông Phạm Khắc Hòe đến lấy thư trả lời, hoàng hậu nhỏ nhẹ nói: “Ông Hoè! Chắc ông biết tôi rất tin ông, quý trọng ông, trước cũng như nay. Cho nên tôi muốn ông cho biết tất cả sự thật về việc ông Vĩnh Thuỵ mê con Lý (Lý Lệ Hà)". Bà cũng muốn ra Hà Nội sum họp, nhưng sợ làm tốn kém thêm cho chính phủ, lại làm cho cựu hoàng bị gò bó, nên bà bảo ông Hòe: “Thôi! Tôi đành chịu đựng riêng một mình để cho người ta vui sướng”. Rồi bà gửi cho chồng số tiền mà ông ta đòi hỏi. Ông Hòe cũng kể, không biết Nam Phương viết những gì trong thư mà khi đọc, mặt Bảo Đại cứ tái dần đi.

Ít lâu sau, vào tháng 3/1946, Bảo Đại đi Trung Quốc rồi sang Hong Kong cùng Lý Lệ Hà, từ bỏ đất nước. Hoàng hậu Nam Phương đã viết cho tình địch một bức thư mà Lý Lệ Hà vẫn giữ suốt nửa thế kỷ sau: “Em Lý Lệ Hà thân quý. Chị ở xa đức cựu hoàng hàng mấy vạn dặm trùng dương, nhưng chị biết rằng em đang hết lòng hết sức chăm sóc cựu hoàng ở Hong Kong. Chị cầu mong lịch sử mai đây không buông rơi cựu hoàng, còn gặp lại nhau. Đức Từ Cung thái hậu và chị trọn kiếp nhớ ơn em. Chị Nam Phương”.

Tháng 8 năm 1947, đài phát thanh Việt Minh phát từ Huế một tin, thuật lại một bài đăng trên báo Continental Daily Mail ra ngày 25 tháng 7 năm 1947 tại London:

"Các nhà chức trách Pháp đến thăm cựu Hoàng hậu Nam Phương, đề nghị bà đưa con trai bà mười ba tuổi lên ngôi. Bà không trả lời. Trong lúc các vị khách Pháp giải thích thì bà đến trước đàn dương cầm thản nhiên chơi bài Tiến quân ca, quốc ca của Việt Nam...".

Một tháng sau, tờ Echo du Vietnam tiết lộ:

"Một kế hoạch xảo quyệt do Hội thuộc địa trình bày. Họ chủ trương khôi phục chế độ quân chủ ở An Nam. Có thể khởi đầu bằng một cuộc thoái vị trọng thể của Bảo Đại nhường ngôi cho con trai. Cựu hoàng phải thừa nhận sai lầm của bản thân, tự nguyện rút lui khỏi chính trường để mở đường cho sự hoà hợp chân thành với nước Pháp".[25]

Một nhà báo hỏi cựu Hoàng hậu Nam Phương lúc đó đang ở Đà Lạt: "Có phải con bà sắp lên ngai vàng không?". Bà không trả lời nhưng cũng không cải chính. Thực tế Bảo Long, mùa hè năm 1947 đang sống dưới sự chăm sóc của bà ngoại tại Đà Lạt.

Ngày 12 tháng 8 tại Huế năm 1947, cựu Hoàng hậu Nam Phương quyết định rời khỏi Việt Nam, bà và các con đáp máy bay Anh để tới Hồng Kông thăm chồng. Người tình Lý Lệ Hà, thứ phi Bùi Mộng Điệp và các cô gái trẻ khác tạm lánh mặt, ít nhất trong một thời gian. Không bao lâu sau đó bà Nam Phương và các con rời Hồng Kông sang Pháp. Chuyến chuyến đi phải tạm dừng lại ở Bangkok chờ khắc phục những trục trặc kỹ thuật của chiếc thuỷ phi cơ. Do không đề phòng trước những hỏng hóc, nên sau nhiều ngày, mọi người đều phải chuyền sang đi tàu thuỷ cùng với hành lý.

Năm 1947 tới Pháp, trong thời gian đầu, mẹ con bà Nam Phương về Cannes, nơi có toà lâu đài Thorenc được dành cho cả gia đình. Từ đó bà Nam Phương chỉ có thể biết qua tình hình trong nước nhờ những lá thư của chị ruột là bà nam tước Didelot ở lại Sài Gòn báo tin.

Năm 1949, Bảo Đại trở về Việt Nam làm Quốc trưởng Quốc gia Việt Nam, nhưng bà Nam Phương vẫn ở bên Pháp. Những ngày nghỉ lễ, bà Nam Phương thường đi phố cùng các con để mua đồ chơi cho chúng hoặc đi xem chiếu bóng với hoàng tử Bảo Thắng, công chúa Phương Dung là hai người con nhỏ nhất. Cũng có những lúc Bảo Đại về Pháp, bà Nam Phương cùng đi với Bảo Đại tới casino để xem ông chơi baccarat hoặc roulette cho vui. Những lần có bà cùng đi, nếu được bạc thì Bảo Đại tặng hết cho bà để sắm sửa quần áo.

Nam Phương Hoàng hậu ưa thời trang của hãng Christian Dior và Balmain. Bà cũng ăn mặc sành điệu và màu tím nhạt là màu bà ưa thích nhất. Hàng ngày sinh hoạt của bà là chăm lo cho các con hay đọc sách báo hoặc ra vườn trồng hoa, tỉa lá. Buổi tối bà thích chơi dương cầm cho các con nghe.

Trong phòng bà, người ta thấy treo những bức họa của Renoir, Buffet. Bà không thích tranh lập thể của Picasso vì tâm hồn không hợp với trường phái hội họa này cũng như siêu thực. Trong nhà bà có cả một đàn chó, có một con thuộc giống Saint Berard. Về thể thao bà có thể chơi bóng bàn, quần vợt và golf nhưng không giỏi lắm.

Ngay cả ông Bảo Đại cũng chưa bao giờ dám trách vợ về việc trai gái, vì kể từ ngày ly thân với Bảo Đại, bà Nam Phương không có một người nhân tình nào, dù là đi khiêu vũ hay đi tắm biển với một người đàn ông nào khác.